Enhancing Rubric-based RL via Self-Distillation
通过自我蒸馏增强基于量规的强化学习
🧭 Rubric-based RL 训练优化
Zhejiang University · ByteDance
用 on-policy 自我蒸馏同时解决 rubric RL 的未被探索准则和压制准则问题，消除训练推理不匹配
📌 工作参考价值（4 点）
- 当使用 rubric-based RL 训练对话/推荐 Agent 时，可借鉴 CriPO 的自我蒸馏框架：对训练中从未满足的准则，构造一个注入准则提示的 teacher 模型，用局部 forward-KL 损失将缺失行为蒸馏到当前策略，无需在推理时引入额外引导，避免 train-inference mismatch。
- 针对 scalar reward 聚合导致部分准则信号被压制的问题（如推荐理由生成中某维度得分高但总分低），可识别与压制准则相关的 token，将其 token-level advantage 翻转为正值，保留被全局奖励淹没的细粒度模式，提升策略学习效率。
- 实现上，两个 self-teacher 均从当前策略加载参数（on-policy），工程简单，且实验中只需约一半训练步数即超越基线，适合资源敏感的业务场景快速迭代。
- 该方法不依赖外部模型或数据，仅利用 rollout 样本和准则元信息，可直接集成到现有 GRPO/PPO 训练框架中，对推荐系统的多目标/多准则 RL 对齐具有参考价值。